Kubernetes Cluster 확장

resource "aws_lightsail_instance" "self" {
  availability_zone = "ap-northeast-2a"
  blueprint_id      = "ubuntu_22_04"
  bundle_id         = "large_3_0"
  name              = var.name
  key_pair_name     = var.key_pair
  lifecycle {
    prevent_destroy = true
  }
}

클러스터 네트워크 묶기

서버 구성

[Interface]
ListenPort = <wireguard port>
PrivateKey = <private key>
Address = 192.168.99.1/24

PostUp = iptables -A FORWARD -i %i -j ACCEPT; \
        iptables -t nat -A POSTROUTING -o ens5 -j MASQUERADE
PostDown = iptables -D FORWARD -i %i -j ACCEPT; \
        iptables -t nat -D POSTROUTING -o ens5 -j MASQUERADE

[Peer]
PublicKey = <public key of client (NUC)>
AllowedIPs = 192.168.99.2/32

resource "aws_lightsail_instance_public_ports" "self" {
  instance_name = aws_lightsail_instance.self.name
  // ...
  port_info {
    from_port = 51820
    to_port   = 51821
    cidrs     = ["0.0.0.0/0"]
    protocol  = "udp"
  }
  // ...
}

클라이언트 구성

[Interface]
Address = 192.168.99.2/24
PrivateKey = <private key>
PostUp = ping -c 5 192.168.99.1

[Peer]
PublicKey = <server public key>
Endpoint = <server ip>:<wireguard port>
AllowedIPs = 192.168.99.1/32
PersistentKeepalive = 10

클러스터 구성하기

Server Node (Control Plane) 설정

curl -sfL https://get.k3s.io | K3S_NODE_NAME=k3s-node-a \
  sh -s - \
  --node-ip 192.168.99.1 \
  --node-external-ip=xx.xx.xxx.xx \
  --flannel-iface=wg0

Agent Node 설정

curl -sfL https://get.k3s.io | K3S_URL=https://192.168.99.1:6443 \
  sh -s - \
  --node-ip 192.168.99.2 \
  --flannel-iface=wg0

nodeAffinity/nodeSelector 설정

kubectl label nodes <nodeName> key=value

apiVersion: apps/v1
kind: Deployment
spec:
  # ...
  template:
    # ...
		spec:
		  nodeSelector:
		    key: value

DNS 설정

apiVersion: v1
kind: ConfigMap
metadata:
  name: coredns-custom
  namespace: kube-system
data:
  global.override: |
    forward . 8.8.8.8 8.8.4.4

IP Preservation

apiVersion: helm.cattle.io/v1
kind: HelmChartConfig
metadata:
  name: traefik
  namespace: kube-system
spec:
  valuesContent: |-
    hostNetwork: true
    nodeSelector:
      node-role.kubernetes.io/control-plane: "true"
    service:
      enabled: false
    updateStrategy:
      rollingUpdate:
        maxUnavailable: 1
        maxSurge: 0
    ports:
      metrics:
        port: 9111
      web:
        port: 80
        hostPort: 80
      websecure:
        port: 443
        hostPort: 443
    securityContext:
      capabilities:
        drop: [ALL]
        add: [NET_BIND_SERVICE]
    podSecurityContext:
      runAsNonRoot: false
      runAsUser: 0
      runAsGroup: 0

1. hostNetwork: true : traefik pod가 host network를 사용하게 해서 직접 http, https 요청을 받도록 합니다.

2. nodeSelector : 기본적으로는 traefik은 deployment입니다. daemonset으로 바꿔서 모든 노드에 traefik이 다 뜨게 할 수도 있지만, 어차피 external traffic은 control plane으로만 들어오기 때문에 nodeSelector를 사용해서 control plane으로만 뜨도록 합니다.

3. service.enabled: false : svclb를 비활성화 합니다.

4. updateStrategy : traefik이 host network를 물고 있기 때문에 포트를 한번 놓아야지만 새로운 pod가 뜰 수 있습니다. 기존의 pod가 없어지고서 새로운 pod가 뜨게끔하는 설정입니다.

5. ports.metrics.port: 9111 : prometheus의 node exporter가 9100 포트를 기본으로 사용하고 있기 때문에 traefik의 prometheus 포트를 9111로 수정했습니다.

6. ports.web/websecure : 기본 포트가 8000, 8443이기 때문에 80, 443으로 수정합니다.

7. securityContext/podSecurityContext : 1024 이하의 포트를 사용해서 열기 때문에 이 포트를 물기 위해서 추가적인 권한이 필요합니다